FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents
FM-Bench：长期管理竞争 Agent 评测基准
🧭 LLM Agent 长期管理评测基准 ★ 深度解读
AnalogyAI
15 个前沿 LLM 在 20 年共享足球管理世界中评测，结果由可解释管理行为而非模型规模与 token 消耗决定
📌 工作参考价值（4 点）
- 把记忆管理作为 Agent 能力来评测：业务中若采用“每次决策点新会话+自维护 notebook”的模式，可将 notebook 连续快照的 TF-IDF 余弦相似度作为记忆健康度指标，警惕 append-only（>0.9）和完全重写（<0.25）两种失效；不要把长期上下文截断/摘要交给 harness 隐式做，否则评测分数部分反映的是脚手架而非模型。
- 奖励函数要显式反囤积与末期衰减：FM-Bench 对超额现金按 0.3 计入净资产，且正分乘 ρ=(t/T)^1.5，迫使 agent 权衡“安全持有现金”的隐性机会成本；电商/广告预算分配中同样可以给闲置预算或过时策略加递减折扣，防止 agent 永远选局部安全动作。
- LLM 无法从数百次拒单中学会市场真实价格（中位 30 次报价才成交 1 次）：在竞价/谈判 Agent 上，应显式给模型维护一个可查询的 bid-ask 历史或先验价格分布，而不是只把 rejection 当反馈；Solo 与 Arena 的行为对比（出价频率 0.5→4.6/季）说明策略强度需按对手自适应。
- 上线前做共享经济体评测：固定对手的 solo 榜第一会形成 dynasty，但 Arena 中冠军在 10 个模型间轮换、卫冕只成功 2/19，说明反自适应环境能揭示策略真实韧性；推荐/流量分配策略也应放入多个 Agent 争抢同一批库存/用户预算的共享仿真，而非仅做静态 A/B。